Demystifying Data Organization for Enhanced LLM Training
揭秘LLM训练中的数据组织策略
🧭 LLM数据排序与课程学习 ★ 深度解读
Nanyang Technological University · Microsoft Research · The Hong Kong University of Science and Technology
复用预计算样本得分，提出四项数据组织指导原则，实现零额外开销的LLM训练性能提升
📌 工作参考价值（4 点）
- 复用数据选择阶段的样本得分：在推荐模型或Agent训练中，若已有数据质量/难度打分，可直接用于排序训练样本，几乎零额外成本，提升模型效果。
- 数据起始与结尾的边界锐化：训练初期喂低分（简单）样本稳定优化，后期喂高分（高质量）样本冲刺性能，可迁移到生成式推荐或结构化Agent训练的微调阶段。
- 循环调度防遗忘：通过折叠式排列让模型周期性回顾全谱样本，避免灾难性遗忘。对于需要维持多任务能力的Agent（如同时做推荐、对话、工具调用），可在持续学习管线中采用类似交错策略。
- 局部多样性注入：在保持全局课程趋势的前提下，对相邻小批次进行打乱，增强梯度多样性，提高泛化性。在电商搜索或推荐重排序训练中，可避免同质化样本集中导致的过拟合。